雑談 2025年1月
from 💬雑談
サムネイル：雑談 2025年1月#679df0a75f1e0d0000f6171a
https://gyazo.com/1d438a49648fd13adbd3abea2b9ee79a
2025/1/31
5-Day Gen AI Intensiveを持ってきたtakker.icon
近日に続きやります
2025/1/29
https://gyazo.com/6450421a08794402b78930baa2b28f64https://www.reddit.com/r/singularity/comments/1iaihgd/benchmark_race_in_the_future/
未来予想図Ⅱ045wogikaze.icon
クロード・ドビュッシーはフーガを作曲していないw
Geminiが遅れを取っているなど、いろいろ面白い
2025/1/28
パウロ(@paurooteri)
DeepSeek 今日の18時(日本時間19時)に何かをリリース
衝撃に備えよっ
> Zephyr(@angelusm0rt1s)
> 🎵Drop Drop Drop...
> https://gyazo.com/09d9766568277f098e5f9dddc3ed3f68
Sam Altman(@sama)
deepseek's r1 is an impressive model, particularly around what they're able to deliver for the price.
we will obviously deliver much better models and also it's legit invigorating to have a new competitor! we will pull up some releases.
Sam Altman.iconそろそろ何かリリースするか...
Mobius Labs(@Mobius_Labs)
We are releasing more re-distilled R1 models. Now including a Qwen-7B with a GSM8K score of 83.4%, +4.55% higher than that of the original distilled model.
7B: https://huggingface.co/mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-7B-v1.1
1.5B: https://huggingface.co/mobiuslabsgmbh/DeepSeek-R1-ReDistill-Qwen-1.5B-v1.1
https://gyazo.com/b95b0dd9f5fd77c6894055f87bd9177f
ベンチマークってそんなにﾄﾞｺﾄﾞｺあげられるものだっけwogikaze.icon
多分蒸留に関しては(Deepseek社としてはメインストリームではないので)技術検証的に作ってみました(ただ計算資源はあるから雑に8k程データぶち込むね…)みたいなノリだった可能性はあるのでそこまで真面目にチューンしてなかった可能性はありそう(なのである程度ちゃんとチューンすれば一回りくらいなら上がるかも)morisoba65536.icon
@studiomasakaki: 最近、AI絵が万バズしてもイヤミが飛んでくることが全然なくなったんですよね。ガンプラのデジラマ生成サービスも普通に好評だし、Grokの一般開放あたりから急激にトーンダウンしてるのを感じる。（略）
grokで自分が使うようになったからイヤミを言えなくなったってこと？基素.icon
xAI社の作戦勝ちwogikaze.icon
2025/1/25
https://x.com/super_bonochin/status/1882827677897494847ちょっと面白いベンチ方法
@super_bonochin
※例示は1 shot（引用元の新形式と日本語訳）で、制約条件のみを簡単に記載して生成
※条件は以下を指定
- 名詞は漢字で表現するが、中国語と日本語で同じ意味を持つもののみ使用する
- 副詞と助詞と形容詞と接続詞は英語で表現する
- 英語表現は、中学生レベルのもののみ使用する
- 平仮名や片仮名は*絶対に**使わない
書かれてないものだとDeepSeek-R1はクリア、OpenAI o1-miniが失敗、reasoningモデル以外ではClaude 3.5 Sonnetがクリアした(ただ、Claude 3.5 Sonnetはかなり英語に寄る)morisoba65536.icon
ものは試しとClaude 3.5 Haikuで動かしたがまさかのクリア…だと…morisoba65536.icon
Claude 3.5シリーズ、我々が思ってる以上にポテンシャル高い可能性がある…morisoba65536.icon
さすがにちと長いので余裕ができたら記事に切り出すかな…(少し下のR1のreasoning Hack関連も含めて)
Claudeは2ch風のテキストも軽々と生成できるし、プロンプトの指示に従う力が強いwogikaze.icon
プログラミングにも有用すぎる特徴だから助かるけど、どういう学習してるんだ
GPT-3.5(ChatGPT登場)からまだ3年も経っていないという事実(ただのWikipediaへのリンク)
2025/1/23
Deepseek R1のreasoning関連のHackが無数に生えてくる…morisoba65536.icon
https://x.com/tetumemo/status/1882239826096963752?s=46ClaudeにR1のreasoningをお前の事前思考だと言い聞かせて性能を上げるHack
https://x.com/madiator/status/1882131703927652762R1から実際に蒸留モデルを作った例(ウェイトあり、しかも蒸留に使ったデータセット付き)
https://www.bespokelabs.ai/blog/bespoke-stratos-the-unreasonable-effectiveness-of-reasoning-distillationブログ記事
ある意味プロンプトエンジニアリングをAI自身にやらせてるような感じなのだろうかmorisoba65536.icon
AIイラストとかでは割とよくあるもののテキストでも有効なようだ…
Hackではないが
https://unsloth.ai/blog/deepseek-r1十分なストレージとRAM48GBあれば1.5トークン/s程度出してご家庭でも動かせるらしい？
llmは画像生成に比べて各社が力を入れてるからかモデルのマイナーバージョンが変わっても構造的に互換性がなくなるからLoraを学習しといて他に適用、みたいな事がやりづらいのは辛みmorisoba65536.icon
そんなにmergeしたいLoraとかも思いつかないwogikaze.icon
2025/1/22
AIの創薬・タンパク質・寿命延長などに興味があまりないwogikaze.icon
健康寿命が伸びるのは基本的に良いことのはずなんだけどね
まあ流石に大抵の一般人で首を突っ込める話ではない(多方面の意味で)過ぎるので当面は「へー」レベルでウォッチするくらいしか無い領域ではある(医薬関係は素人は適当なことも言えんし)morisoba65536.icon
AIに興味あって、工学とかクリエイティブにも興味がある人はネット上でよく見るけど、生物は見ないな…nomadoor.icon
NDAで喋れないことも他の分野より多そう
化学の分野は手数の総力戦のイメージがあるから効率化できるものはなんでも使っていくはず基素.icon
https://x.com/skirano/status/1881854481304047656Deepseek R1のreasoning(考えてること)を他のモデルに事前トークンとして抜き出して渡すことで性能を上げる謎Hackが発見された……
逆にreasoningをhackして考えてることを書き換えて思考インジェクションも(ローカルなら)可能らしい(チキチキ)morisoba65536.icon
reasoning部分はまだ研究があまり進んでなさそうだからここを抜き出して交換したりするのは有益そうwogikaze.icon
2025/1/21
Windsurf
Kimi-k1.5
https://news.yahoo.co.jp/articles/035dbe680d83991630be7e2e54764e98e291d31c
トランプ米大統領は20日、人工知能（AI）のリスクを管理するバイデン前政権の政策を覆す大統領令に署名した。AI規制は技術の進歩や言論の自由を妨げるとの考え方が背景にある。共和党の綱領にも廃止方針が盛り込まれていた。
バイデン前大統領が2023年の大統領令で、国家や経済の安全保障への影響が懸念される高度なAI技術の開発企業に、安全試験の結果などの情報を政府に提供するよう義務付けていた。偽情報の拡散対策として、政府公式コンテンツを認証する仕組みの導入も図った
2025/01/20
言語モデルにテキストからブラケティングの自動生成をさせたいwogikaze.icon
教師データを集めて抜き出す学習をさせたらできるか
https://nordot.app/1253987498611343534共通テスト、AIの得点率91％ 東大文1のボーダー超える ｜ 共同通信
数学12と情報で勝ち越し、他負けで10戦3勝wogikaze.icon
AIが解けるならこの形式のテストにする意味はない説
DeepSeek-R1がMITライセンスで公開される。
OpenAI o1と肩を並べるレベルのモデルがオープンウェイトで公開されちゃった…morisoba65536.icon
https://x.com/Shinka_Man/status/1881351705922777146数学オリンピックレベルの問題ではo1 proに素の状態ではやや劣る、プロンプトを少し工夫(深く考えろと指示を出す)と互角と言った性能なようだ。
既存モデルベースにR1で蒸留したモデルもでている。QwenベースのDeepSeek-R1-Distill-Qwen-32BがOpenAI o1-miniとほぼ同等のスコア
個人的にDeepSeek-R1-Distill-Qwen-14BやDeepSeek-R1-Distill-Qwen-7Bといった普通に家庭で動くレベルのモデルでo1-miniに近い(GPT-4oをベンチマークでは超えてる)性能と言うのがびっくり過ぎる…X等でのレビューでも期待される回答を出してる辺り少なくともそこまで「盛ってる」訳でもなさそう。
1.5bモデル辺りならいっそ画像生成AIのテキストエンコーダーとかに使えるのでは?感がmorisoba65536.icon
ちょっと長く書きすぎたので後で個別記事に移動しとこmorisoba65536.icon
2025/1/17
https://blog.comfy.org/p/comfyui-turns-2-a-journey-and-callComfyUI二周年
🥳🎉nomadoor.iconwogikaze.icon基素.iconmorisoba65536.icon
ComfyUIのページ作ったの、誕生から10日後だったんだ
2025/1/15
https://gyazo.com/5c418ab9944cde29e7c817bb67e5eb94
https://www.irasutoya.com/2016/08/ai.html
こんなwork4aiな絵あったのか、さすがいらすとやさんだぜ！nomadoor.icon
2025/1/10
やはり二人以上で書くのが楽しいwogikaze.icon
+1nomadoor.icon
新入り私、記法が独特過ぎてちょっと戸惑ってる(特に半自動で編集モードに入るところ)morisoba65536.icon
2025/1/8
https://blog.comfy.org/p/join-the-comfyui-community-logo-creationComfyUIの新ロゴ募集中(2/8まで)
せっかくなのでなにか出したいなnomadoor.icon
2025/1/7
Nvidia CES 2025が今日あったようだwogikaze.icon
https://www.youtube.com/watch?v=k82RwXqZHY8
NVIDIA Project DIGITSを私にください(強欲)
https://gyazo.com/d834a8f854fba60419e3f290973f97ba
3000ドル、お買い得だな()nomadoor.icon
安いと思ってしまった(安くない)はるひ.icon
メモリがひたすらに大きいのがメリットなので計算能力だけで言えばRTX 5080とかを買った方がいいかもwogikaze.icon
@bdsqlsz: I just thought about digit
https://pbs.twimg.com/media/GgssEOubEAASlwf.jpg
これがどんなもんの数値なのかイマイチ理解できていない😑nomadoor.icon
ちょっと変わった選択肢としてRTX 5090のモバイル版のThunderbolt5のeGPUボックスも発売が決まったりしてる。eGPUを使ってるもの好きなら既存のeGPUと合わせてVRAM+24GB！と言う択が生えてきた(多分その択が生えるのが自分以外にほとんどいない)morisoba65536.icon
ROG XG Mobile (2025)
ゲームじゃなくてAIだと長時間動かしっぱなしにすること多いんで排熱的にデスクトップに乗せたいかなぁnomadoor.icon
あと性能が7 ~ 8割に抑えられちゃうイメージ
2025/01/01
あけましておめでとうございます🎍wogikaze.iconmeganii.icon
おめでとうなのですtakker.icon
あけましておめでとうございます！nomadoor.icon
https://gyazo.com/1d438a49648fd13adbd3abea2b9ee79a
ということで🐍Vivi
kawaiiwogikaze.icon
ホールピペットにみえてしまったwwogikaze.icon
口で吸っていくスタイルnomadoor.icon